Канадский инженер‑программист и видеоблогер Энтони Систилли из канадского Брамптона рассказал, что к нему приехала полиция после того, как он собрал камеру автоматического распознавания номерных знаков (ALPR) — подобие системы Flock.
😎 Привет Халчане!
Давно не виделись, много чего произошло)
Сегодня вышло обновление HalChat for Android v1.0.4 (AI in every phone!)
Благодаря новым технологиям, стало возможно запускать даже 8 млрд. модели на бюджетных телефонах
Среднее время ответа ИИ на Honor X7b составляет от 3 до 4 минут
Можно почти одновременно общаться в одном чате как на ПК, так и на мобильном устройстве
Самое трудное было это перенести систему плагинов на Android.
Она может работать в оффлайн режиме, что позволяет общаться с ИИ без интернета (но пока отключено)
Кроме этого были добавлены статусы сообщениям (доставлено или отправлено)
Добавлены статусы пользователя в личном чате
Было проведено много работы над багами, оптимизацией, улучшением синхронизации и обновлению системы файлов.
На этой неделе я расскажу как я смог запустить в браузере 27b модель с минимальными потерями. И как я дообучил модель для HalChat.
Бесплатно попробовать 3 новых ИИ можете в:
Google Play: https://play.google.com/store/apps/details?id=halwarsing.net.halchatandroid
RuStore: https://www.rustore.ru/catalog/app/halwarsing.net.halchatandroid
🤝 До новых встреч!
Всем кому СРОЧНО нужно выкачать все с Яндекс Диска себе на компьютер!!! История о том как за два часа за чашечкой кофе и с ИИ напарником попытаться спасти мир :)
Дизайн-система передаёт AI решения команды через правила, примеры и проверки. На кейсах Builder и Miro разбираю, почему наличия документации ещё недостаточно и что помогает связать инструкцию с результатом.
Руководитель финтех-направления Яндекса Дмитрий Пирогов сообщил, что компания продолжает восстанавливать работу Яндекс Пэй после повреждения ещё одного дата-центра во Владимире минувшей ночью.
Монетизация Налогового кодекса и "цифровая крепость": куда уходит открытость гос-API?
В предыдущем посте https://habr.com/ru/posts/1079618/ был рассказ, как сделать бесплатную замену фирменному сервису 1С:Контрагент. Сразу после этого начали происходить события предсказанные заранее и карму кто-то обнуляет, поэтому, думаю, здесь мне тоже не долго осталось - читааают ...
Впрочем, это было в сторону, я здесь не для этих разговоров.
Предыдущий пост получился слишком длинный и не "влез" в формат поста. Это его продолжение вторая и третья части.
В процессе работы с DaData меня накрыл один философский вопрос.
Парадокс осмотрительности
ФНС требует от бизнеса "должной осмотрительности" при выборе контрагентов. Вы обязаны проверить, существует ли фирма, не является ли она "однодневкой", не участвует ли в цепочках и т.д. Это требование закона (в трактовке ФНС). И тут возникает главный парадокс: данные ЕГРЮЛ и ЕГРИП по определению являются открытыми, но доступ к ним через API ФНС платный и, соответственно, требует авторизации.
Как так-то? Почему государственная структура "торгует" данными, которые сама же требует проверять по открытым источникам? Кто получает эту плату? Мы оказываемся в ситуации, когда нас фактически вынуждают покупать услуги у налоговой, чтобы соблюсти требования этой же налоговой. Что это - какая-то новая "монетизация Налогового кодекса"?
От открытого мира к цифровой крепости
Глядя на всё это, я вспоминаю, как было лет 10-15 тому назад. В те времена, напомню, фирма 1С пыталась сделать платную автоматическую загрузку курсов валют в типовых конфигурациях. С этой целью вместо использовавшегося сервиса РосБизнесКонсалтинга, был открыт аналогичный на сервере 1c.ru, но с логином/паролем от "диска 1С:ИТС" (платный сервис фирмы 1С Инженерно-Техническое Сопровождение - требуется для всех типовых конфигураций, кроме базовых, ~ от 1500-3000 / в месяц). Добавлена новая обработка, а старая, хотя и осталась в конфигурации, была удалена из всех меню и автозапусков, а для ее запуска нужно было пройти "квалификационный тест юзера" на опытность - лохи вообще думали, что ее удалили из конфигурации. По сути, одна прокладка была заменена другой, поскольку, ни РБК, ни Желтая фирма курсы валют не формируют - это прерогатива ЦБ РФ.
Каюсь, это моя разработка обломала тогда им этот кайф. Это была бесплатная разработка, которая брала данные напрямую по API сервера ЦБ РФ, минуя все прокладки. Описание API ЦБ РФ было открытым, подробным и доступным. Разработка даже получила функционал, которого не было в типовых конфигурациях - автоматический ввод в справочник новых валют со всеми кодами и названиями, диаграммы курсов за выбранный период и еще пару приколов для программистов:
Дело в том, что т.н. отчеты/обработки в 1С 7.7 могут иметь не только форму, но и таблицу прикрепленную к ней (там и рисовались диаграммы и другая полезная информация, кстати, а вы знаете почему 9 ноября назван Днём изобретателя в немецкоговорящих странах? - каждый хабровец обязан это знать имхо). "Задать" привязку таблицы к форме можно только на этапе конфигурирования - обработка может быть или с таблицей или без. Мне "удалось" штатным способом менять эту опцию в пользовательском режиме (в режиме Предприятие). И еще один трюк для разработчика: если добавить мою загрузку курсов в любую типовую конфигурацию, она заменит типовую загрузку, не меняя ни одного байта типовой конфигурации и новый релиз не может это отменить и вернуть платность.
Тогда государство (в лице ЦБ РФ) предоставляло инструменты для прозрачности и автоматизации. Сегодня всё изменилось.
Яркий пример - бывший ФСС. После поглощения ПФРом и превращения в СоцФонд (СФР), они полностью закрыли данные о формате электронных листов нетрудоспособности. Этот формат и описание шлюза ФСС всегда были в открытом доступе. Мало того что они помешались на многоуровневом шифровании при "диалоге" по API, так еще и засекретили сами протоколы. Мы перешли от концепции "Государство как сервис" к концепции "Государство как закрытая крепость".
Выбрал неправильный курс - сел на мель
Нет, это не очередной пост о важности постановки целей и планирования, в пятницу, у нас в регионе произошло событие, подобного которому, не было уже 53 года.
Если спросить тимлида «сколько story points команда сделает в следующем спринте?», чаще всего ответ будет такой: «Ну, в прошлый раз было около 300, давай возьмём столько же». Потом выясняется, что двое уходят в отпуск, один новичок ещё не разогнался, а треть времени съедят баги. Спринт заканчивается авралом, задачи доделывают в последние два дня, и этот аврал попадает в статистику как «нормальная скорость команды». Следующий план строится уже на нём.
Я руковожу кросс-функциональной командой внутреннего продукта в крупной компании: аналитика, дизайн, фронтенд, бэкенд и QA, около десяти человек. Около двух лет я планирую спринты по формуле, а не по ощущениям. Ниже расскажу, как устроен расчёт, какие у него ограничения и насколько он точен на реальных цифрах.
МБД Tantor XData позволяет построить частную инфраструктуру database-as-a-service (DBaaS) непосредственно в дата-центре заказчика. Решение объединяет возможности корпоративной машины баз данных с облачной моделью предоставления ресурсов и инструментами интеллектуального мониторинга. Развёртывание под ключ, включая поставку стойки и интеграцию с существующей ИТ-инфраструктурой через API, занимает от трёх дней.
Сколько стоит новый автомобиль в 30 городах мира
Налоги, импортные сборы и правила владения могут создавать разницу в ценах в десятки тысяч долларов между городами.
На этом графике сравниваются цены на новые автомобили в 30 крупных городах на основе данных Deutsche Bank и Numbeo. Цены указаны в долларах США и основаны на модели Volkswagen Golf 1.5 или аналогичном новом автомобиле.
Москва, как и вся Россия, - рекордный относительно других стран рост за 10 лет (+134%).
Цены выше Лондона и многих городов Швейцарии. Париж и Нью-Йорк далеко позади.
Хорошего дня! заходите на тг канал https://t.me/TradPhronesis
Я искренне считаю, что в хорроры нужно играть исключительно осенью и зимой, а на остальные релизы отвести другое время.
А еще я до сих пор уверен, что жанр находится на грани смерти и переполнен откровенно плохими релизами.
Но, собственно, как говорится, критикуешь — предлагай, и поэтому сегодня я собрал несколько крепких и свежих проектов в жанре, которые точно стоит опробовать между крупными релизами этой безумной осени.
В первой статье я показал несколько опытов с небольшой моделью (её размер влезает в обычную домашнюю видеокарту) вокруг одного вопроса: может ли такая модель становиться умнее со временем — не раздуваясь до огромных размеров, а за счёт памяти, аккуратного дообучения и проверки ответов. Но я тогда не сказал, ради чего всё это и что это вообще часть чего-то большего.
Теперь раскрою карты. Эти опыты — не сами по себе. Это шаги к новой архитектуре, над которой я работаю; я зову её LANN-4 (если расшифровать — нейросеть, которая учится всю «жизнь», с небольшим неизменным «мозгом» и вынесенной наружу памятью). И сразу честно: самой этой архитектуры ещё нет — она не выбрана и не построена. Небольшие модели в опытах — это подопытные инструменты, а не LANN-4. Готовую новую модель я не показываю. Я показываю исследование на пути к ней — и то, что получилось и что НЕ получилось.
А не получилось вот что. Мы проверили: если одну и ту же небольшую модель подучивать на примерах несколько раз подряд, будет ли она от раза к разу становиться всё лучше? Короткий ответ: нет. Первый раунд подучивания даёт заметный прирост, а дальше рост останавливается. Накопления не вышло.
И есть вопрос, в котором мне реально нужна ваша помощь: прежде чем тратить примерно сутки работы видеокарты на решающую проверку, я хочу, чтобы вы попробовали найти дыру в её устройстве.
Xiaomi выкатила tabular foundation модель. Убийца CatBoost от создателей пылесосов? 📱⚡️
Xiaomi выкатила в открытый доступ Xiaomi-TabLDM — табличную foundation-модель, которая якобы затыкает за пояс CatBoost, LightGBM и предыдущие попытки в табличный deep learning (TabPFN, TabFM). Модель действительно мощная и берет призовые места на бенчмарках TabArena и OpenML-CTR23. Но если залезть под капот репозитория, выясняется занятная вещь: перед нами не просто «одна большая умная нейросеть», а ядреный соревновательный AutoML-пайплайн, завернутый в обертку инференса трансформера с MoE.
Что накрутили в архитектуре 🏗
Для тех, кто пропустил эволюцию табличных сеток: TabLDM работает по принципу контекстного обучения (ICL).
Вы вызываете стандартный для scikit-learn метод clf.fit(X_train, y_train), но модель не обучает веса. Она просто готовит входные данные. На инференсе и обучающая выборка, и тестовые объекты скармливаются в трансформер за один проход: y_pred = model(X_train, y_train, X_test). Весь опыт модель получила заранее на претрейне — причем Xiaomi учила ее исключительно на синтетических данных, сгенерированных структурными каузальными моделями (SCM).
Регрессия, кстати, предсказывает не одно число, а сразу 999 квантилей, которые потом сглаживаются сплайнами и обобщенным распределением Парето (GPD) через оценщик Пикандса для моделирования тяжелых хвостов. По хардкору, крч.
Грязный секрет бенчмарков: возвращение на Kaggle 🕵️♂️
А теперь смотрим на то, за счет чего модель на самом деле выбивает высокие скоры на бенчмарках.
В коде есть флаг enhance_candidates=True (включен по умолчанию). Когда вы вызываете fit(), библиотека втихую запускает внутри себя:
— Стратифицированный K-Fold кросс-валидацию;
— Генерацию пачки представлений датасета: перемешивание признаков через латинские квадраты, квантильные трансформации, Gaussian Rank нормализацию;
— Автоматическое вычисление SVD-компонент и генерацию попарных произведений числовых признаков;
— Сбор out-of-fold предсказаний по всем этим группам кандидатов;
— И вишенка на торте: решение задачи неотрицательных наименьших квадратов (scipy.optimize.nnls) для подбора оптимальных весов ансамбля!
То есть модель буквально берет классические приемы с Kaggle десятилетней давности, автоматизирует их и выдает взвешенный ансамбль. Плохо ли это? Нет, это чертовски эффективно с точки зрения метрик. Но называть это «чистым предиктом одной нейросети» — лукавство. Это полноценный ансамблевый комбайн на этапе инференса.
💼 Катить ли это в прод?
Если у вас табличка на 1 000 – 3 000 строк, где лень крутить Optuna и подбирать пайплайн нормализации — TabLDM выдаст околосотовое качество из коробки прямо в один predict().
Но если у вас в проде крутятся 200 000+ строк, никакой кластер H100 с FlashAttention вас не спасет от чудовищных накладных расходов. Пока трансформер будет задыхаться от сложности контекста и роутинга экспертов, CatBoost или LightGBM на обычном CPU досчитают за две секунды и займут свои пару мегабайт памяти.
Хорошая игрушка для быстрых бейзлайнов и датасетов скромного размера. Но градиентный бустинг на пенсию пока не собирается.
Нет, речь пойдет не про высокочастотную торговлю на бирже, но я буду использовать аналогию, чтобы стало понятно почему и как я думал. Собственно, мое мнение HFT прошел полный путь холодной войны. Изначально суть высокочастотной торговли заключалась в алгоритмах, они должны были быть достаточно простыми и при этом максимально эффективными. Выигрыш получал тот, кто успел «просчитать» быстрее других. Сначала это были секунды, потом доли секунд и в итоге алгоритмы начали зашивать в процессоры сетевых карт, чтобы максимально быстро реагировать на входящие данные и генерировать нужные сделки. На настоящий момент можно признать, что этот способ заработка практически умер, поскольку у всех приблизительно одна скорость обсчета и генерации, а следовательно результат начал зависеть от непредсказуемых факторов — по сути рулетка. Где сейчас живет HFT правильно, он ушел в более сложные FPGA и арбитраж на десятки бирж. Алгоритмы стали значительно сложнее, разнообразней и ушли от простых формул с простыми решениями.
Я ни в коем случае не призываю никого делать то, что будет описано ниже, более того — все это лишь фантазия и она не имеет ничего общего с реальностью. Но давайте немного пофантазируем на почве состояния перегретого пара — ИИ и почему его так сильно боятся.
Для начала рассмотрим как обстояли дела в прошлом, скажем честно очень недалеком прошлом, буквально вчера...
У нас есть разработчик который пилит какой‑то сервис, для нас сейчас не столь важно какой, но пусть это будет FTP‑сервер, тем более что это близко к тому что творилось в wuftp в недалеком прошлом. Разработчика будут звать Роб, вполне себе разработческое имя. И он пилит его не тяп‑ляп, а нормально. Тестирует все что может, старается оберегать свое детище от взломов, переполнений и при этом сохранить скорость и вменяемый размер.
Ранее часть файлов на «Яндекс Диске» у пользователей стала недоступна (они отображаются в интерфейсе, но не скачиваются, у некоторых также пропали превью). В «Код.ру» получили комментарий от «Яндекса» по этой ситуации. В «Яндексе» намеренно ограничили часть возможностей сервисов «Яндекс 360», включая «Диск», чтобы снизить нагрузку на инфраструктуру и сохранить работоспособность основных функций.
Постараюсь вкратце и по делу сугубо. Первое что сразу хочется сказать: спасибо автору!) За рамку: у кода есть цена написания и цена владения, и разъехались они в разные стороны. Также отдельно за то, что он сам оговаривает свои источники, про отчёты Veracode особенно честно. Бухгалтерию беру у него, а тезис ниже мой: следующая строчка счёта приходит не коду, а прогнозам. Нового уже от себя добавляю: перенос механизма с кода на дискурс и то, как выглядит цена владения не в новостях, а на примере моих двух обезличенных проектах.
Почему прогнозы об ИИ стали такими дешёвыми
«Создать дёшево, проверить дорого» не мой механизм. Автор показал его на мейнтейнерах открытых проектов, включая curl: отчёт о несуществующей уязвимости пишется за минуты и несколько центов, а проверять его живому человеку часы. Я механизм не открываю. Смотрю, докуда он дотягивается...
До прогнозов. Сразу оговорюсь: дёшево прогнозировали всегда, от фантастики до страхов перед автоматизацией, пожалуй задолго до нейросетей. ИИ не изобрёл дешёвый прогноз, он убрал последнюю цену = ту самую цену упаковки. Правдоподобную заметку с цифрами и тоном эксперта теперь можно реально штамповать пачками за центы токенов, однако проверка осталась где была = найти первоисточник и выяснить, кто заплатил за исследование.
В комментариях к той статье справедливо возражали многие: проверка тоже дешевеет. Для кода так и есть = у него есть независимый якорь, ответ, который не зависит от мнения модели. У прогноза же якоря нет. Нет теста, который упадёт, если обещанное не наступит, и никто не платит за ошибку. Похоже, а точнее как показала практика многих, дёшево производить можно не только текст, но и безответственность.
В начале сентября я провёл вканале интерактив: предложил подписчикам написать в комментариях свою профессию и пообещал каждому прислать эскиз системы в Obsidian под его работу. Эскиз — это буклет на 3 страницы: какие разделы нужны хранилищу юриста, психолога или инженера, как между ними ходит информация и какими плагинами это собирается. Профессию назвали 20 человек. Каждому ушёл буклет в личку, дальше пошли переписки и записи на консультации. Через неделю я уже не помнил, кому что отправил и кому обещал ответить. До этого лидов я не вёл никак, их было мало и все помещались в голове. Отдельный сервис заводить не хотелось: задачи, клиентские проекты и заметки по встречам у меня и так в Obsidian. В этой статье расскажу, как я собрал CRM на плагине Operon и что в нём допилил. Следующие раунды интерактива буду объявлять в канале.
Как вернуть LAN-режим в Neverwinter Nights 2 на прошитой Switch: без аккаунта Nintendo, без подписки, по локальной сети между двумя консолями. Разбор ARM64-кода, отладка GDB прямо на консоли и готовый патч для Atmosphere.
Я потратила больше $9 000 и больше миллиарда токенов, пытаясь сделать нормальную безопасность в приложении, которое разрабатываю с января. Сама программа работала прекрасно, а слои защиты не сходились друг с другом: что-то менялось в одном месте, и ломалось в другом.
Я перепробовала бесчисленное количество способов их свести, даже сделала отдельное приложение, которое следило за «сердцебиением» слоёв защиты и пыталось держать их вместе, — но ничего не помогало. В итоге всё это сошлось! И получился полноценный инструмент — Crossweft. Это открытый плагин для Claude Code и Codex, который не даёт ИИ-агенту сказать «готово»,пока все связанные части программы не синхронизируются. Рассказываю, как он устроен.
Существует множество специализированных операционных систем, в том числе заточенных под задачи в области ИБ: Kali Linux — для пентеста, Qubes OS — для работы в изолированной среде. Мы в Beeline Cloud обсудим несколько свежих ОС с упором на инфобез и не только. Одна позволяет отслеживать работу процессора в, так сказать, почти лабораторных условиях, другая — противостоит программам-вымогателям, еще одна — предлагает потенциально автономную архитектуру для космических проектов.
Две независимые группы исследователей в Вене и Пекине одновременно создали первые ядерные часы, которые отсчитывают время по «сжатию и разжатию» атомных ядер тория, тяжёлого радиоактивного элемента. Эти ядерные часы настолько точны, что потеряли бы одну секунду лишь за несколько миллионов лет. Результаты были опубликованы в журнале Nature.
Первые ядерные часы пока не вытеснят всемирную сеть атомных часов, на стабильный ход которых мы полагаемся в GPS и при определении секунды. Не стали они и самым точным хронометром: лучшие атомные часы примерно в 10 000 раз надёжнее и потеряли бы одну секунду лишь более чем за 100 миллиардов лет.
Ядерные часы работают, направляя лазер на ядро атома и отсчитывая, с какой частотой ядро переключается между двумя конфигурациями, называемыми изомерами. Для изменения конфигурации атомных ядер обычно требуется очень много энергии, но есть одно исключение: изотоп торий-229.
В 2003 году исследователи поняли, что следует искать резонансную частоту тория-229. Учёные решили направить на ядра лазер точно нужной частоты и заставить их колебаться между «сжатым» и «разжатым» состояниями. Подсчитывая эти быстрые колебания, можно было бы создать часы. После двух десятилетий поисков несколько групп исследователей определили резонансную частоту тория-229, соответствующую длине волны 148 нанометров, глубоко в ультрафиолетовой части спектра.
Последним необходимым элементом часов была петля обратной связи. Подобно тому как маятниковые часы постепенно замедляются и их приходится заводить, частота лазера может дрейфовать. Чтобы решить эту проблему, группы в Пекине и Вене разработали системы, позволяющие измерять и корректировать частоту лазера, стабилизируя ход часов.
